您好,欢迎来到达州工业云! 平台首页 企业驾驶舱 帮助中心 企业登录 企业注册

HI,欢迎使用达州工业云平台!

账号必须大于2位

创新资源平台
服务平台首页>专利库>专利详情

多模态学习系统

  • 申请号:CN200980117877.6 申请公布号: CN102067153A
  • 申请日: 2009-04-02 申请公布日: 2011-05-18
  • 申请(专利权)人: 专利代理机构: 北京市金杜律师事务所
  • 分类号:G06K9/22

专利介绍

向用户呈现指令以做出目标姿态。目标姿态可以是范例或模型符号的部分。指令可以通过各种方式来呈现,诸如印刷在书写表面上或者通过智能笔设备的扬声器以音频格式播放。使用智能笔设备数字地捕获用户在书写表面上所做的书写姿态。将捕获的书写姿态与目标姿态比较,并且根据此比较来确定反馈。此反馈可以指示用户的书写姿态的正确性。可以通过各种手段向用户呈现反馈,包括通过智能笔设备。该比较还可以用来确定用户将要遵循的下一指令。
1.一种用于指导的方法,所述方法包括:向用户呈现指令以做出目标姿态;数字地捕获使用智能笔设备在点使能表面上所做的姿态;基于所述姿态与所述目标姿态的比较来确定反馈;以及向所述用户呈现所述反馈。
2.如权利要求1所述的方法,还包括:接收指导模块,所述指导模块包括多个指令和多个目标姿态,每个指令对应于目标姿态,所述指令具有限定的序列。
3.如权利要求1所述的方法,还包括:基于所述姿态与所述目标姿态的所述比较,来确定要向所述用户呈现的下一指令。
4.如权利要求1所述的方法,其中所述反馈呈现在所述智能笔设备的显示器上。
5.如权利要求1所述的方法,其中所述反馈通过所述智能笔设备的扬声器来呈现。
6.如权利要求1所述的方法,其中所述反馈通过所述智能笔设备触觉上呈现。
7.如权利要求1所述的方法,其中所述反馈与捕获所述姿态实质上实时地呈现。
8.如权利要求1所述的方法,其中使用智能笔中的成像系统来数字地捕获所述姿态。
9.如权利要求1所述的方法,其中所述点使能表面包括智能笔可读的编码坐标系统。
10.如权利要求1所述的方法,还包括:数字地捕获由第二用户使用智能笔设备在点使能表面上所做的目标姿态;以及通过所述智能笔设备的扬声器从所述第二用户数字地捕获对应于所述目标姿态的指令。
11.一种用于使用智能笔进行指导的计算机程序产品,所述计算机程序产品包括含有计算机程序代码的计算机可读存储介质,所述计算机程序代码用于:数字地捕获使用智能笔设备在点使能表面上所做的姿态;基于所述姿态与目标姿态的比较来确定反馈;以及向用户呈现所述反馈。
12.如权利要求11所述的计算机程序产品,其中向所述用户提供用于做出所述目标姿态的书写指令。
13.如权利要求11所述的计算机程序产品,其中所述计算机程序代码还配置用于:向用户呈现用于做出所述目标姿态的指令。
14.如权利要求13所述的计算机程序产品,其中所述计算机程序代码还配置用于:基于所述姿态与所述目标姿态的比较,来确定要向所述用户呈现的下一指令。
15.如权利要求11所述的计算机程序产品,其中所述计算机程序代码还配置用于:接收指导模块,所述指导模块包括多个指令和多个目标姿态,每个指令对应于目标姿态,所述指令具有限定的序列。
16.如权利要求11所述的计算机程序产品,其中所述计算机程序代码配置用于在所述智能笔设备的显示器上呈现所述反馈。
17.如权利要求11所述的计算机程序产品,其中所述计算机程序代码还配置用于与捕获所述姿态实质上实时地呈现所述反馈。
18.如权利要求11所述的计算机程序产品,其中使用智能笔中的成像系统来数字地捕获所述姿态。
19.如权利要求11所述的计算机程序产品,其中所述点使能表面包括所述智能笔可读的编码坐标系统。
20.如权利要求11所述的计算机程序产品,其中所述计算机程序代码还配置用于:数字地捕获由第二用户使用智能笔设备在点使能表面上所做的目标姿态;以及通过所述智能笔设备的扬声器从所述第二用户数字地捕获对应于所述目标姿态的指令。相关申请交叉引用本申请要求2008年4月3日提交的美国临时申请号61/042,236的权益,在此通过参考并入其全部内容。
背景技术
本发明总体上涉及基于笔的计算系统,并且更具体地,涉及基于笔的计算系统的教学或教育使用。期望教授在阅读和书写语言、数学、科学、音乐、艺术和其他学科中使用的符号的书写和识别。符号可以包括字符、图示、形状和其他字形。示例是普通话中文字符、州的形状、分子结构以及数学公式。关注于学习书写和识别符号的教学常常需要通过观察和临摹范例(例如,来自教科书)来反复进行书写练习。对于学生来说,几乎没有关于他或她成功地准确重现符号的直接反馈或鼓励。教授学生符号的可接受变化是困难的,并且通常是通过向学生提供符号的一组可接受备选实例来实现的。在某些情况下,还必须要学习符号的书写笔划的适当笔顺。在这些情况下,通过印刷的图示来展现笔顺是不便且令人困惑的。再一次,当学生练习以正确的笔顺书写符号时,反馈的缺乏是低效的,并且无助于激励学生。通常,学习书写符号与学习符号的含义或应用的上下文在时间或空间上是分离的。例如,书写数学表达式中的符号包括希腊字母,并且很多符号对于领域来说是唯一的。缺乏关于表达式的符号构成和语法的即时或有意义的反馈,会降低学习速度,并且需要比较多的练习。在典型的学习系统中,用户视觉焦点的轨迹常常相当大。例如,如果用户正在通过教科书或者其他印刷材料来学习描绘符号,则用户必须看着课本中的范例,继而将视觉焦点移动到用户正在进行书写的纸张上。为了检查用户部分描绘的符号的正确性,用户必须在纸张与课本之间来回反复查看。这是低效的,并且不是最优的。如果用户能够在描绘符号的同时在非常靠近书写区域处查看范例,则用户能够更好地保持范例的上下文。考虑描绘20个笔划的复杂中文字符的挑战,即,在教科书中的字符与纸上部分描绘的字符之间来回反复查看。在这种情况下,很多学生将尝试把教科书拉到与他们描绘的字符尽可能靠近的位置。此外,一旦字符被完全描绘,则使范例靠近该描绘以便检查其正确性也是有意义的。可购买的纸质练习簿允许用户靠近范例直接书写,缩窄了用户的焦点轨迹,但是练习簿是消耗品并且通常比较昂贵。而且,练习簿没有提供动态反馈或上下文反馈。板式个人计算机(板式PC)或者类似系统能够向用户呈现正在进行的信息流,其具有改变的甚至是动态的视觉效果。系统可以通过多个模态(听觉的或视觉的)来提供上下文解释和即时反馈,并且可以提供视觉焦点的有限轨迹。然而,板式PC是昂贵的,体积较大,消耗相当的功率,并且可能需要频繁的充电。当在玻璃屏幕上进行书写时,板式PC还向用户提供了不熟悉的并且可能是不期望的触觉反馈。此外,对于板式PC或者具有保护性透明材料的任何显示设备,当在与显示器相隔一定距离、结合有用于板式PC的多种笔追踪技术的有限绝对分辨率的玻璃屏幕上书写时,存在视差问题。由此,需要在符号的关联上下文中更为有效地教授符号的书写和识别的技术。
发明内容
本发明的实施方式提出了一种通过使用基于笔的计算系统来指导用户书写符号的新方法。向用户呈现指令,以便做出目标姿态。目标姿态可以是正在向用户教授的示例性或模型符号的一部分。指令可以通过各种方式来呈现,诸如印刷在书写表面上,或者通过数字笔设备的扬声器以音频格式播放。使用数字笔设备来数字地捕获用户在书写表面上做出的书写姿态。将捕获的书写姿态与目标姿态进行比较,并且根据此比较来确定反馈。此反馈可以指示用户书写姿态的正确性。可以通过各种手段向用户呈现反馈,包括通过数字笔设备。比较还可以用来确定用户将要遵循的下一指令(例如,如果目标姿态与捕获的书写姿态足够相似,则可以向用户呈现描绘更高级符号的指令)。可以创建包括多个指令和目标姿态的指导模块,其中每个指令对应于目标姿态,并且其中指令具有限定的序列。这些指导模块可以这样来创建:使用数字笔设备从指导者处捕获目标姿态,并且捕获对应于目标姿态的指令。
附图说明
图1是根据本发明实施方式的基于笔的计算系统的示意图;图2是根据本发明实施方式的在基于笔的计算系统中使用的智能笔的框图;图3示出了用于使用基于笔的计算系统来提供指令的过程的实施方式。图4示出了用于使用基于笔的计算系统来创建指导模块的过程的实施方式。附图仅仅出于说明目的而描绘了本发明的各种实施方式。通过下文的讨论,本领域技术人员将会容易地认识到,在不脱离在此描述的发明原理的情况下,可以采用在此示出的结构和方法的备选实施方式。
具体实施方式
基于笔的计算系统的概述本发明的实施方式可以在基于笔的计算系统的各种实施方式以及其他计算和/或记录系统上实现。图1示出了基于笔的计算系统的一个实施方式。在此实施方式中,基于笔的计算系统包括书写表面50,智能笔100,插接站(dockingxa0station)110,客户端系统120,网络130,以及web服务系统140。智能笔100包括板上处理能力以及输入/输出功能,从而允许基于笔的计算系统将传统计算系统的基于屏幕的交互向用户可以进行书写的其他表面进行扩展。例如,智能笔100可以用来捕获书写的电子表示以及在书写期间录音,并且智能笔100还可以能够向用户输出回可视和音频信息。利用智能笔100上用于各种应用的适当软件,基于笔的计算系统由此提供了供用户在电子和纸张领域二者中与软件程序和计算服务进行交互的新平台。在基于笔的计算系统中,智能笔100为计算系统提供输入和输出能力,并且执行系统的某些或者全部计算功能。由此,智能笔100支持使用多种模态与基于笔的计算系统进行用户交互。在一个实施方式中,智能笔100使用多个模态从用户处接收输入,诸如捕获用户的书写或其他手部姿态,或者录音;并且使用各种模态向用户提供输出,诸如显示可视信息或者播放音频。在其他实施方式中,智能笔100包括诸如运动感测或者姿态捕获等附加输入模态,和/或诸如振动反馈等附加输出模态。智能笔100的具体实施方式的部件在图2中示出,并且在随附文字中详述。智能笔100优选地具有与笔或者其他书写工具充分形似的形状因子,当然,可以存在对一般性形状的某些变化,以适应笔的其他功能,或者甚至可以是交互式多模态非书写工具。例如,智能笔100可以比标准的笔略厚,使其可以包含附加部件,或者除了形成笔形状的形状因子之外,智能笔100还可以具有附加结构特征(例如,平板显示屏)。而且,智能笔100还可以包括用户可借以向智能笔计算系统提供输入或命令的任何机制,或者可以包括用户可借以从智能笔计算系统接收或以其他方式观测信息的任何机制。智能笔100被设计为与书写表面50结合工作,从而使智能笔100可以捕获在书写表面50上进行的书写。在一个实施方式中,书写表面50包括纸张(或者可以在其上进行书写的任何其他适当材料),并且编码有智能笔100可读取的图案。这种书写表面50的一个示例是所谓的“点使能纸”(dot-enabledxa0paper),其可从瑞典的Anotoxa0GroupAB(Waltham,MA的本地子公司Anoto,Inc.),并且在美国专利号7,175,095中描述,在此通过参考将其并入。此点使能纸具有编码在纸上的点图案。被设计为与这种点使能纸结合工作的智能笔100包括成像系统和处理器,其可以确定智能笔的书写尖相对于已编码点图案的位置。智能笔100的该位置可以在预定义的“点空间”中使用坐标来表示,并且坐标可以是局部的(即,书写表面50的页面内的位置)或者绝对的(即,跨书写表面50的多个页面的唯一位置)。在其他实施方式中,书写表面50可以使用不同于编码纸的机制来实现,以允许智能笔100捕获姿态和其他书写输入。例如,书写表面可以包括感测智能笔100做出的书写的板或者其他电子介质。在另一实施方式中,书写表面50包括电子纸张或称e纸张(e-paper)。该感测可以完全由书写表面50来执行,或者与智能笔100结合执行。即使书写表面50的作用仅仅是被动的(例如,编码纸的情况),可以理解,智能笔100的设计通常将会取决于基于笔的计算系统的设计所针对的书写表面50的类型。而且,书写内容可以机械地(例如,使用智能笔100在纸上施加墨水)或者电子地(例如,显示在书写表面50上)显示在书写表面50上,或者可以根本不显示(例如,仅保存在存储器中)。在另一实施方式中,智能笔100配备有传感器,用以感测笔尖的移动,由此在完全不需要书写表面50的情况下感测书写姿态。在智能笔100中包含的姿态捕获系统中,可以使用这些技术中的任何技术。在各种实施方式中,智能笔100可以与诸如个人计算机的通用计算系统120通信,以用于基于笔的计算系统的各种有益应用。例如,可以向计算系统120传送由智能笔100捕获的内容,以供该系统120进一步使用。例如,计算系统120可以包括管理软件,其允许用户存储、访问、查看、删除以及以其他方式管理由智能笔100获取的信息。从智能笔100向计算系统120下载获取的数据可以释放智能笔100的资源,从而使其可以捕获更多数据。反之,可以从计算系统120向智能笔100传回内容。除了数据之外,由计算系统120向智能笔100提供的内容可以包括可由智能笔100执行的软件应用。智能笔100可以通过多种已知通信机制中的任何机制来与计算系统120通信,包括有线通信和无线通信二者。在一个实施方式中,基于笔的计算系统包括耦合至计算系统的插接站110。插接站110机械地和电地配置用于接收智能笔100,并且当智能笔100与插接站110对接时,可以允许计算系统120与智能笔100之间的电子通信。插接站110还可以提供电功率,以便为智能笔100中的电池充电。图2示出了用于在基于笔的计算系统(诸如上文描述的实施方式)中使用的智能笔100的一个实施方式。在图2示出的实施方式中,智能笔100包括:标记器205,成像系统210,落笔传感器215,一个或多个麦克风220,扬声器225,音频插口230,显示器235,I/O端口240,处理器245,板上存储器250,以及电池255。然而,应当理解,并非所有上述部件都是智能笔100必须的,并且这不是智能笔100的所有实施方式的部件或者上述部件的所有可能变形的排他性列表。例如,智能笔100还可以包括诸如开关按钮或录音按钮之类的按钮,和/或状态指示灯。而且,如这里在说明书和权利要求中使用的,除了那些明确记载的特征之外,术语“智能笔”并非暗示笔设备具有在此针对特定实施方式描述的任意特定特征或功能。智能笔可以具有少于在此描述的全部能力和子系统的任意组合。标记器205允许智能笔被用作传统的书写装置,用于在任何适当表面上进行书写。标记器205由此可以包括任何适当的标记机制,包括任何基于墨水的或者基于石墨的标记设备,或者可以用来书写的任何其他设备。在一个实施方式中,标记器205包括可替换的圆珠笔元件。标记器205耦合至落笔传感器215,诸如压力敏感的元件。由此,当相对于表面按压标记器205时,落笔传感器215产生输出,从而指示何时智能笔100被用来在表面上进行书写。成像系统210包括充分的光学器件和传感器,用于对标记器205附近的表面区域进行成像。成像系统210可以用来捕获利用智能笔100进行的手写和姿态。例如,成像系统210可以包括红外光源,其在标记器205的一般邻域中照射书写表面50,其中书写表面50包括编码图案。通过处理编码图案的图像,智能笔100可以确定标记器205相对于书写表面50而言处于何处。继而,成像系统210的成像阵列对标记器205附近的表面进行成像,并且捕获其视场中的编码图案部分。由此,成像系统210允许智能笔100使用至少一个输入模态来接收数据,诸如接收书写输入。包含用于查看书写表面50的部分的光学器件和电子器件的成像系统210仅仅是可以包含在智能笔100中以用于电子地捕获使用笔进行的任何书写姿态的一类姿态捕获系统,智能笔100的其他实施方式可以使用用于实现相同功能的任何其他适当手段。在一个实施方式中,随后处理由成像系统210捕获的数据,从而允许向接收的数据应用一个或多个内容识别算法,诸如字符识别。在另一实施方式中,成像系统210可以用来扫描和捕获书写表面50上已经存在的(例如,不是使用智能笔100书写的)书写内容。成像系统210还可以与落笔传感器215结合使用,以确定标记器205何时接触书写表面50。随着标记器205在表面上移动,由成像阵列捕获的图案改变,并且智能笔100中的姿态捕获系统(例如,图2中的成像系统210)由此可以确定和捕获用户的手写。此技术还可以用来捕获姿态,诸如当用户在书写表面50的特定位置上敲击标记器205时,从而允许使用运动感测或姿态捕获的另一输入模态的数据捕获。智能笔100上的另一数据捕获设备是一个或多个麦克风220,其允许智能笔100使用另一输入模态来接收数据,即音频捕获。麦克风220可以用于录音,这可以与上文描述的手写捕获同步。在一个实施方式中,一个或多个麦克风220耦合至由处理器245或者信号处理器(未示出)执行的信号处理软件,其移除在标记器205跨书写表面移动时产生的噪声和/或智能笔100向下接触书写表面或从其抬起时产生的噪声。在一个实施方式中,处理器245将捕获的书写数据与捕获的音频数据进行同步。例如,可以在用户进行记录的同时,使用麦克风220录制会议中的交谈,其中用户所做的记录也由智能笔100捕获。对录制的音频与捕获的手写进行同步,允许智能笔100向针对先前捕获数据的用户请求提供协作响应。例如,响应于用户请求,诸如书写命令、命令的参数、利用智能笔100所做的姿态、口述命令或书写和口述命令的结合,智能笔100向用户提供音频输出和可视输出二者。智能笔100还可以向用户提供触觉反馈。扬声器225、音频插口230以及显示器235向智能笔100的用户提供输出,以允许通过一个或多个输出模态向用户呈现数据。音频插口230可以耦合至耳机,使用户可以收听音频输出而不会干扰用户周围的其他人,这不同于扬声器225。耳机还可以允许用户收听利用空间特性进行增强的立体声或完全三维音频的音频输出。因此,扬声器225和音频插口230允许用户通过收听由扬声器225或音频插口230播放的音频,来使用第一类输出模态从智能笔接收数据。显示器235可以包括用于提供可视反馈的任何适当显示系统,诸如有机发光二极管(OLED)显示器,从而允许智能笔100通过可视地显示信息而使用第二输出模态来提供输出。在使用中,智能笔100可以使用这些输出部件中的任何部件来传送音频或可视反馈,从而允许使用多个输出模态来提供数据。例如,扬声器225和音频插口230可以根据智能笔100上运行的应用来传送音频反馈(例如,提示、命令和系统状态),并且显示器235可以根据此类应用的指示来显示短语、静态或动态图像或者提示。而且,扬声器225和音频插口230还可以用来回放使用麦克风220录制的音频数据。输入/输出(I/O)端口240允许智能笔100与计算系统120之间如上所述的通信。在一个实施方式中,I/O端口240包括电接触体,其对应于插接站110上的电接触,由此在智能笔100被放置在插接站110中时进行用于数据传送的电连接。在另一实施方式中,I/O端口240简单地包括用于接收数据缆线的插口(例如,Mini-USB或者Micro-USB)。备选地,I/O端口240可以替换为智能笔100中的无线通信电路,以允许与计算系统120的无线通信(例如,通过蓝牙、WiFi、红外或者超声波)。处理器245、板上存储器250以及电池255(或者其他适当的电源)允许至少部分地在智能笔100上执行计算功能。处理器245耦合至上文描述的输入和输出设备以及其他部件,从而允许智能笔100上运行的应用使用这些部件。在一个实施方式中,处理器245包括ARM9处理器,并且板上存储器250包括小容量的随机访问存储器(RAM)和较大容量的闪存或其他持久存储器。因此,可执行应用可以在智能笔100上存储和执行,并且录制的音频和手写可以存储在智能笔100上,或者是无限期地存储,或者直到从智能笔100向计算系统120转载。例如,智能笔100可以本地存储一个或多个内容识别算法,诸如字符识别或语音识别,从而允许智能笔100本地标识来自智能笔100所接收的一个或多个输入模态的输入。在一个实施方式中,智能笔100还包括操作系统或其他软件,其支持诸如手写捕获、音频捕获或姿态捕获等一个或多个输入模态,或者诸如音频回放或可视数据显示等输出模态。操作系统或其他软件可以支持输入模态和输出模态的组合,并且管理输入模态(例如,捕获书写和/或口述的数据作为输入)与输出模态(例如,向用户呈现音频或可视数据作为输出)之间的结合、顺序和转换。例如,输入模态与输出模态之间的这种转换允许用户在纸或另一表面上进行书写的同时收听由智能笔100播放的音频;或者智能笔100可以捕获用户口述的音频,同时用户还利用智能笔100进行书写。输入模态和输出模态的各种其他组合也是可行的。在一个实施方式中,处理器245和板上存储器250包括一个或多个可执行应用,其支持和允许菜单结构以及通过文件系统或应用菜单的导航,从而允许启动应用或者应用的功能。例如,菜单项之间的导航包括用户与智能笔100之间的对话,包括用户的口述和/或书写命令和/或姿态,以及来自智能笔计算系统的音频和/或可视反馈。因此,智能笔100可以从多个模态接收用以导航菜单结构的输入。例如,书写姿态、口述关键词或者物理运动可以指示:后续输入与一个或多个应用命令相关联。例如,用户可以快速连续地抵住表面两次按压智能笔100,继而书写词或短语,诸如“求解”、“发送”、“翻译”、“电子邮件”、“语音电子邮件”或者另一预定义词或短语,以调用与书写的词或短语相关联的命令,或者接收与预定义词或短语相关联的命令的相关附加参数。此输入可以具有空间分量(例如,并排的点)和/或时间分量(例如,一个点接一个点)。因为这些“快速启动”命令可以按照不同格式来提供,因此菜单的导航或应用的启动得以简化。一个或多个“快速启动”命令优选地在传统书写和/或口述期间易于分辨。备选地,智能笔100还可以包括物理控制器,诸如小操纵杆、滑动控件、操纵盘、电容式(或者其他非机械)表面或者接收输入以便对智能笔100所执行的应用或应用命令的菜单进行导航的其他输入机制。学习系统概述本发明的实施方式给出了通过使用基于笔的计算系统来指导用户书写符号的新方式,包括向用户的各类反馈。可以向用户呈现说明如何描绘符号的指令。初始指令可以包括用于描绘符号的初始部分的指令。用户通过利用智能笔100在点使能纸50上做出书写姿态来尝试遵循指令。姿态由智能笔100接收,并且根据该姿态与根据指令的期望符号的匹配程度来向用户提供反馈。指令和反馈可以通过各种手段来提供,诸如通过智能笔100或附接的计算系统120上的显示器,或者通过智能笔100或附接的计算系统120上的扬声器225(例如,用于音频指令)。指令也可以按照书写形式来提供,诸如预先印在点使能纸50上。指令可以包括期望符号的可视表示。指令和用户反馈的序列可以在指导模块中被捆绑在一起,以指导用户书写符号。此指导模块可以由记录指令和示例性符号(或者包括符号的姿态)的应用来创建并且存储这些指令和符号。下面将参考附图讨论本发明的各种实施方式。图1是用于使用基于笔的计算系统来提供指令的示例架构的框图。图1示出了一张点使能纸50以及可以与纸50结合使用的智能笔100。下面描述的操作可由笔100的处理器上运行的应用、附接的计算系统120上运行的应用或者二者的结合来执行。图3示出了用于使用基于笔的计算系统来提供指令的过程的实施方式。在此过程中,向智能笔100的用户呈现302指令。这些指令可以指定如何描绘符号或者符号的部分。如下文进一步讨论的,指令可以包括图形的或动画的内容,并且可以通过多种接口来提供(例如,智能笔显示器235或者扬声器225,或者预先印在纸50的部分上)。当用户尝试遵循指令时,智能笔100从用户接收304姿态。姿态可以包括用户利用智能笔100在点使能纸50上的笔划、笔划的速度、笔划的顺序、笔在纸上的压力(来自智能笔上的压力传感器)或者其他类型的信息。用户所做的姿态可能导致或者不导致利用标记器205对纸的实际书写。在任一情况下,智能笔100的成像系统210能够捕获姿态。在一个实施方式中,从尝试在预先印刷的符号上描画的用户接收姿态。智能笔100根据接收的姿态来确定306反馈。在一个实施方式中,智能笔分析姿态,以确定它们是否准确地遵循呈现的指令,以及它们是否准确地描写出了针对其提供指令的符号。智能笔100中可以存储一个或多个范例姿态(也称为模型姿态或目标姿态),以便与接收自用户的姿态进行比较,并且可以确定与范例姿态的偏离程度。通过如下所述的各种手段(例如,可视、音频、触觉)向用户呈现308确定的反馈。反馈可以向用户提供姿态正确性的指示,并且可以提供改进建议。智能笔100基于接收的姿态和确定的反馈来确定310下一指令。例如,下一指令可供用户重试当前指令,或者供用户移动到描绘符号的下一步骤。智能笔100还可以确定312用户的技能水平。在一个实施方式中,此确定是在用户已经完成了包括完整符号的姿态序列之后进行的。技能水平可以基于用户的姿态与范例姿态的匹配程度,基于用户需要的重试次数,或者基于其他因素。可以向用户显示技能水平,并且可以用它来决定用户是否应当进展到下一符号或者继续练习当前符号。上文关于图3描述的用于提供指令的过程可由智能笔100或者附接的计算系统120上读取指导模块的应用来执行,其中指导模块存储在智能笔或者附接的计算系统上。此指导模块可以包括各种指令以及相应的范例姿态。图4示出了用于使用基于笔的计算系统来创建指导模块的过程的实施方式。此过程可由用于在智能笔或者附接的计算设备上创建指导模块的应用来执行。在一个实施方式中,应用接收402意在向用户呈现的指令。例如,指导者可以向智能笔的麦克风口述指令。智能笔接收404与指导者在点使能纸上所做的指令相对应的姿态。这些姿态可以存储为范例姿态,并且可以在随后与接收自学习用户的姿态进行比较,以确定306反馈。应用可接收指令以及对应的范例姿态的序列,并且将此序列存储406在智能笔或者附接的计算系统之上的指导模块中。在一个实施方式中,确定408指导模块的难度(例如,从1到10的标度)。此难度可以基于对步骤404中接收的姿态的复杂性的分析。可以向用户显示各种指导模块的难度,以允许用户选择适当难度的模块。难度测量还可以用来自动确定向用户呈现指导模块的适当序列。可以根据步骤408中确定的指导模块的难度以及步骤312中对用户技能水平的确定的比较,来选择指导模块以便向用户呈现。指导系统示例在一个实施方式中,智能笔100允许用户在练习描绘符号的同时向用户教授符号的语法、语义和应用。用户可以从智能笔扬声器225接收音频指令。由于智能笔100可感知用户实际正在描绘什么,因此智能笔100还可以向用户提供反馈,以及在用户准备好时向用户呈现下一步骤(例如,关于图3所述)。用户还可以从智能笔100的显示器235接收可视反馈。显示器可以显示例如用户正在学习描绘的动画范例符号,其中动画示出了描绘该符号所需的动作的序列。因此,用户的焦点区域可以限于不多于6英寸宽。用户可以接收与用户描绘符号的进展同步的解释性反馈,从而提供有力的、有效的以及感情上满意的学习体验。在一个实施方式中,用户在符号上描画并且记录它以用于随后练习,例如使用点使能描图纸。在描画期间做出的姿态可以记录在指导模块中(例如,如图4中描述)。用户继而可以学习描绘符号,而无需使用指导模块进行描画。用户(或者指导者)可以在描画期间或在描画之后记录指令音频,并且可以在用户随后尝试描绘符号时回放此音频,如上所述。可以缩放范例符号以适应智能笔100的显示器235。智能笔100可以提供用户控制,以用于平移和缩放显示器中的符号。例如,用户按压智能笔上的按钮或者以特定的识别序列来敲击或拖动笔,以便平移或缩放符号。符号还可以智能地缩放,例如通过放大用户当前正在描绘的符号部分。附接的计算系统120可以有助于向用户呈现指令和呈现反馈二者。因为附接的计算系统可以具有大于智能笔上显示器的显示器,因此在附接的计算系统上显示复杂的范例符号可能是有益的。用户可以类似地与诸如另一智能笔、PC平板、智能电话或者电子书(eBook)的其他设备交互。向用户提供的反馈可以实质上实时提供,甚至可以在姿态中提供。例如,当用户尝试在点使能纸上描绘符号时,用户对符号的绘制可以在智能笔或附接的计算设备的显示器上实时显示。用户的绘制可以叠加在范例符号之上,以便实时地在显示器上显示用户符号的准确性。可以近似实时地提供其他类型的反馈,诸如音频或触觉反馈。例如,当用户偏离正确的笔划时,可以立即从智能笔扬声器225发出声音,并且声音可以指示用户应当采取的特定补救动作(例如,某些音调指示用户应当向左移笔)。触觉反馈可以包括在用户偏离正确笔划时使笔振动。用户继而可以重新考虑笔划并进行适当的修正。指导模块如上所述,可由指导者、同学或学生他/她自己来为学生创建指导模块。除了描述符号之外,指导模块可以包含关于符号的语法或用法的信息,并且向学生/用户呈现此信息。指导模块可以根据当前上下文以及先前描绘的符号来建议或者规定下面将要描绘的特定符号。指导模块可被存储以及向多个学生分发。可以向用户呈现指令序列,其中用户学习描绘多个符号。在一个实施方式中,系统确定用户描绘特定符号的技能,并且继续令用户练习该符号,直到达到一定的技能水平。一旦达到了某个技能水平(例如,如步骤312中确定的),系统便向用户呈现下一符号。智能笔可以自动分析新近录入的符号(例如,步骤408),并且确定符号在指导模块的序列中的适当放置。可以创建包括符号识别、写、说和听的语言学习系统。例如,用于学习中文的系统可以包括在智能笔显示器上向用户呈现中文字符,以及使用户在具有反馈的情况下描绘字符,如上所述。还可以从智能笔扬声器向用户播放字符和词,并且可以由智能笔麦克风来录制字符和词。录制的书写和音频可被存储以供指导者随后查看,也可以利用智能笔或远程设备的计算资源立即分析。系统集成语言的各种方面。例如,显示字符,并且要求用户向麦克风说出该字符。备选地,智能笔100播放词的音频(以中文,或者以英文)并且要求用户写出该词(以中文)。语言学习系统可以包括读、写、说和听之间基于科学的间隔展示和转换。系统可以包括上述元件的任意组合,以创建交互式指导模块,从而允许用户在具有各类反馈的情况下学习符号的组合(包括书写语言)。包含附加信息的符号传统上,符号中传递的信息被限于符号本身的可视表示(也即,符号在印刷页面或者计算机显示器上的外观)。然而,可以使用智能笔和编码纸来录制关于符号的明显更多的信息。可能的信息包括:在创建符号的各个部分时施加的压力,用来创建符号的笔顺,笔划速度,笔的角度,以及笔的旋转。与符号关联的这些附加信息可以用来可视地区分相同的符号,以用于教学或者可变抄本的目的。在学习符号时,用户创建的符号可能书写看上去是正确的,但却是低效描绘的。通过记录上述附加信息,可以教授用户以更为有效、动觉(kinesthetic)的方式来创建符号。例如,可以将用户在书写符号时的笔顺、笔划速度和笔的角度与指导模块中提供的范例笔顺、笔划速度和笔的角度进行比较,并且指示用户进行适当的修改。除了上面描述的任何反馈方法之外,提高的笔划速度可以驱动语音合成引擎向智能笔播放的音频(诸如对用户的指导音频)应用可变的音调变化、韵律和速度。增加的压力可以驱动合成音量。而且,笔顺或其他附加信息(诸如,笔划方向或压力)允许相同符号的可变抄本。取决于用来创建符号的笔划顺序或者方向,相同符号可以具有不同的含义。例如,基于笔划顺序和方向,十字“+”可以具有至少四种含义,诸如:笔顺:首先从上向下描绘垂直笔划;其次从左向右描绘水平笔划。解释:“加号”。笔顺:首先从上向下描绘垂直笔划;其次从右向左描绘水平笔划。解释:词语“the”。笔顺:首先从左向右描绘水平笔划;其次从上向下描绘垂直笔划。解释:告知PC大声读出先前语句的命令。笔顺:首先从右向左描绘水平笔划;其次从下向上描绘垂直笔划。解释:告知PC向随后的电子邮件地址发送所有书写文本的命令。因此,单个可视表示可以对应于具有多个意义的多个符号。这也称为重载符号。在上文给出的示例中,十字“+”重载有四个含义。一般地,符号将被重载以比上文给出的示例更有逻辑关系的含义,但是关系不是必需的。系统可以存储具有系统的可视表示的附加信息,从而可以在随后检查期间确定符号含义。系统还可以即时扩展符号的含义,并且存储经扩展的符号。总结出于说明目的,已经给出了对本发明实施方式的上文描述;其并非意在穷尽或是将本发明限于公开的精确形式。相关领域的技术人员可以理解,根据上文公开很多修改和变化是可行的。本说明书的某些部分通过对信息的操作的算法和符号化表征来描述本发明的实施方式。这些算法描述和表征常被数据处理领域的技术人员用来向本领域中的其他技术人员有效地传递其工作的主旨。尽管在功能上、计算上或逻辑上被描述,这些操作被理解为由计算机程序或等效的电子电路、微码等来实现。此外,不失一般性,有时将这些操作布置称为模块被证明是方便的。所描述的操作及其关联模块可以具体化在软件、固件、硬件或者其任意结合中。在此描述的任何步骤、操作或过程可以利用单独或与其他设备结合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中,软件模块利用计算机程序产品实现,其包括含有计算机程序代码的计算机可读介质,该代码可以由计算机处理器执行,用于执行在此描述的任何或者所有步骤、操作或过程。本发明的实施方式还涉及用于执行这里的操作的装置。此装置可以针对所需目的而专门构造,和/或可以包括由存储在计算机中的计算机程序来选择性激活或重配的通用计算设备。这种计算机程序可以存储在有形计算机可读存储介质中,包括任意类型的有形介质,其适于存储电子指令,并且耦合至计算机系统总线。此外,在此说明书中提及的任何计算系统可以包括单个处理器,或者可以是采用多处理器设计的架构以提高计算能力。本发明的实施方式还可以涉及载波中包含的计算机数据信号,其中计算机数据信号包括在此描述的计算机程序产品或者其他数据组合的任何实施方式。计算机数据信号是存在于有形介质或载波中、并且被调制或以其他方式被编码在载波中的产品,其是有形的,并且根据任何适当的传输方法来传输。最后,说明书中使用的语言主要是出于可读性和指示性目的而选择的,并不是为了描绘或者限制发明主题而选择的。由此,并非意在将发明范围限于此详细描述,而是由基于这里的申请的任何权利要求来限定。因此,本发明的实施方式的公开意在说明而非限制所附权利要求中记载的发明范围。